Глава 4. Проверка гипотез

4.1. Метод моментов проверки гипотез

	К методу моментов относят все статистические процедуры, основанные на использовании выборочных моментов и функций от них. Метод моментов оценивания параметров распределения рассмотрен в главе 3. В непараметрической статистике на основе выборочных моментов проводится точечное и интервальное оценивание характеристик распределения, таких, как математическое ожидание, дисперсия, среднее квадратическое отклонение, коэффициент вариации (глава 5.1). Для проверки гипотез в непараметрической статистике также используется метод моментов. Примером является критерий Крамера-Уэлча, предназначенный для проверки равенства математических ожиданий по двум независимым выборкам (глава 5.1).
	В практике применения статистических методов (согласно классическим схемам) довольно часто возникает необходимость проверки гипотезы о том, что функция распределения результатов наблюдений Х1, Х2, … , Хn принадлежит параметрическому семейству распределений {F(x, θ), θΘ}, где ΘRk. Как проверять эту гипотезу? 
	Давно разработан универсальный метод – критерий минимума хи-квадрат. Однако у него имеется существенный недостаток – необходимость группирования наблюдений, что приводит к потере информации. Как хорошо известно, это приводит к существенному снижению мощности критерия минимума хи-квадрат по сравнению с критериями типа Колмогорова и типа омега-квадрат. Кроме того, нахождение минимума статистики хи-квадрат – достаточно сложная вычислительная процедура. Поэтому иногда вместо оценок, получаемых при указанной оптимизации, подставляют оценки максимального правдоподобия или какие-либо еще. Такая замена приводит к тому, что распределение рассматриваемой статистики существенно отличается от классического, причем различие не исчезает при росте объема выборки. Предложенная член-корр. АН СССР Л.Н. Большевым и проф. М.С. Никулиным [2] модификация критерия минимума хи-квадрат не снимает недостатков, связанных с группированием и необходимостью существенной вычислительной работы. 
	Общий подход, основанный на дистанционном методе, предложен Дж. Вольфовицем (США) в 1950-х гг. Согласно этому методу, следует основываться на том или ином расстоянии между эмпирической функцией распределения и параметрическим семейством распределений (как многообразием в пространстве всех функций распределения). Конкретная реализация этого подхода приводит к критериям типа Колмогорова и типа омега-квадрат. Однако для каждого конкретного параметрического семейства приходится разрабатывать самостоятельную теорию и рассчитывать только ему соответствующие предельные и точные распределения. Предельные распределения найдены лишь для нескольких семейств, а о точных почти ничего не известно. До сих пор часто делают ошибку, применяя для произвольных семейств предельные распределения, найденные для проверки согласия с фиксированным распределением (см. подробности в главе 2.4). 
	Критерии минимума хи-квадрат и аналогичные им не являются состоятельными, поскольку вероятности попадания в области группирования не задают однозначно функцию распределения. С этим недостатком можно бороться, увеличивая число интервалов группирования вместе с ростом объема выборки, однако на этом пути еще не выработаны рекомендации, пригодные для широкого практического использования. Критерии типа Колмогорова и типа омега-квадрат – состоятельные, т.е. любую альтернативную функцию распределения, не входящую в рассматриваемое параметрическое семейство, они отвергают с вероятностью, стремящейся к 1 при росте объема выборки.
	Для конкретности обсудим проверку согласие результатов наблюдений с трехпараметрическим семейством гамма-распределений с плотностями 
   	(4.1)
Здесь a > 2 - параметр формы, b > 0 - параметр масштаба и с - параметр сдвига, Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция». Критерий минимума хи-квадрат имеет указанные выше недостатки. Критерии типа Колмогорова и типа омега-квадрат для этого случая не разработаны. 
	В подобных ситуациях целесообразно строить критерии согласия на основе функций от выборочных моментов, т.е. пользоваться методом моментов. Для оценивания параметров метод моментов хорошо известен и обычно рассматривается в учебной литературе по теории вероятностей и математической статистике. Реализацией метода моментов для проверки нормальности являются известные критерии асимметрии и эксцесса [3].
	Пример 1. Если случайная величина Х имеет нормальное распределение с математическим ожиданием а и дисперсией σ2, то, как известно [3], 
,
где δ – нормированное среднее абсолютное отклонение, γ1 – коэффициент асимметрии и (β1 – 3) – коэффициент эксцесса. 
	Таким образом, если выборочные оценки указанных моментных отношений существенно отличаются от соответствующих теоретических значений, то следует признать, что распределение результатов наблюдений отлично от нормального. Так как указанные выше значения моментных отношений могут приниматься и для распределений, отличных от нормальных, то близость выборочных значений к только что выписанным не обязательно свидетельствует о нормальности распределения результатов наблюдений. Критерии, полученные методом моментов, служат не столько для проверки нормальности, сколько для выявления отклонений распределения от нормального, или, точнее, для проверки гипотез δ ≠ , γ1 ≠ 0, β1 ≠ 3. Рассматриваемые критерии построены на основе выборочных моментных отношений:
.
	Здесь, как обычно,  - выборочное среднее арифметическое и s2 – выборочная дисперсия, соответственно, s – выборочное среднее квадратическое отклонение. Как вытекает из результатов главы 14 настоящего учебника, все три статистики являются асимптотически нормальными. Выражения для параметров их асимптотических распределений приведены в [3]. Процентные точки распределений рассматриваемых выборочных моментных отношений при конечных объемах выборки найдены в предположении нормальности результатов наблюдений [3].
	Как и критерии минимума хи-квадрат, критерии метода моментов не являются состоятельными. Однако они, как и в случае критериев асимметрии и эксцесса, позволяют в ряде случаев отвергнуть гипотезу согласия. Использование несостоятельных критериев часто встречается в прикладной статистике. Отметим, например, что применение критерия Вилкоксона для проверки гипотезы однородности двух выборок широко распространено, хотя против общей альтернативы он является несостоятельным (см. главу 5.3). 
	Критерии метода моментов основаны на использовании функций от выборочных моментов, имеющих асимптотически нормальные распределения, параметры которых легко могут быть вычислены по методике, описанной в главе 14. Метод моментов по сравнению с другими методами проверки согласия требует существенно меньше вычислений (число операций пропорционально объему выборки). Поэтому он может быть рекомендован для использования при проверке согласия с семействами распределений, для которых не разработаны более совершенные методы, а также в качестве быстрого (экспрессного) метода. Что же касается хорошо изученных семейств, например, нормального, то основанные на использовании моментов критерии асимметрии и эксцесса применять для проверки нормальности нецелесообразно. Судя по специальным исследованиям, следует рекомендовать критерий W Шапиро - Уилка. 
	Продемонстрируем применение метода моментов на примере проверки гипотезы согласия с двухпараметрическим семейством гамма-распределений без сдвига, т.е. выделяемого из семейства (4.1) условием с = 0. Поскольку для трехпараметрического семейства гамма-распределений (4.1)
М(Х) =ab + c,  D(X) = ab2, μ3 = M(X – M(X))3 = 2ab3,
то при справедливости гипотезы Н0: с = 0 выполнено соотношение
.		(4.2)
	Для специалистов по техническим наукам большое значение имеет альтернативная гипотеза
H1: c > 0.
В частности, она связана с дискуссией о выборе нормируемых показателей надежности технических устройств. Альтернативная гипотеза соответствует предположению, что в течение некоторого времени (до момента c > 0) отказы невозможны, а нулевая – с отрицанием этого предположения и признанием того, что отказы возможны в любой момент.
	При справедливости альтернативной гипотезы 
,
поэтому для проверки гипотезы согласия в рассматриваемой постановке целесообразно использовать критерий со статистикой
.
	С помощью описанной в главе 14 методики вычисления предельного распределения функции от выборочных моментов можно установить, что при n → ∞ распределение статистики  сходится к нормальному, причем при справедливости нулевой гипотезы, т.е. соотношения (4.2), асимптотическое распределение имеет нулевое математическое ожидание и дисперсию
.		(4.3)
	Поскольку параметр формы а неизвестен статистику, необходимо в выражении (4.3) заменить а на его состоятельную оценку, например, на оценку метода моментов (см. главу 3.1)
.
	Рассмотрим критерий с критической областью вида
,		(4.4)
где u(1 - α) – квантиль порядка 1 - α стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. При n→∞ уровень значимости этого критерия стремится к α.
	Если альтернативная гипотеза является двусторонней, т.е. , то аналогично строится двусторонняя критическая область. 
	Критерий (4.4) состоятелен против альтернативы H1: c > 0, а также против непараметрической альтернативы 
,
в которой не предполагается, что функция распределения элементов выборки имеет гамма-распределение (4.1) с какими-либо конкретными значениями параметров, но не является состоятельным против общей альтернативы. 
	Пример 2. Применим критерий (4.4) для проверки согласия с гамма-распределением при с = 0, т.е. с двухпараметрическим семейством, данных о наработке n = 50 резцов до предельного состояния (в часах), приведенных в табл. 3.2 раздела 3.1. 
	Для рассматриваемых данных  = 57,88, s2 = 663,00, выборочный третий центральный момент m3 = 14927,91, откуда Z = - 0,01719. При этом a* = 5,05, и потому
.
	Следовательно, гипотеза согласия рассматриваемых данных с двухпараметрическим гамма-распределением не отвергается на любом из обычно используемых уровней значимости, как для односторонней критической области, так и для двухсторонней.

4.2. Неустойчивость параметрических методов 
отбраковки выбросов

При обработке реальных технических, экономических, медицинских и иных данных, полученных в процессе наблюдений, измерений, расчетов, иногда один или несколько результатов наблюдений резко выделяются, т.е. далеко отстоят от основной массы данных. Такие резко выделяющиеся результаты наблюдений часто считают содержащими грубые погрешности, соответственно называют промахами или выбросами. В рассматриваемых случаях возникает естественная мысль, что подобные наблюдения не относятся к изучаемой совокупности, поскольку содержат грубую погрешность, а получены они в результате ошибки, промаха. В справочнике по метрологии об этом явлении говорится так: «Грубые погрешности и промахи возникают из-за ошибок или неправильных действий оператора (его психофизиологического состояния, неверного отсчета, ошибок в записях или вычислениях, неправильного включения приборов и т.п.). А также при резких кратковременных изменениях условий проведения измерений (в результате вибрации, поступления холодного воздуха, толчка прибора оператором и т.п.). Если грубые погрешности и промахи обнаруживают в процессе измерений, то результаты, содержащие их, отбрасывают. Однако чаще всего их выявляют только при окончательной обработке результатов измерений с помощью специальных критериев оценки грубых погрешностей» [4, с.46-47].
Есть два подхода к обработке данных, которые могут быть искажены грубыми погрешностями и промахами:
1) отбраковка резко выделяющихся результатов наблюдений, т.е. обнаружение наблюдений, искаженных грубыми погрешностями и промахами, и исключение их из дальнейшей статистической обработки;
2) применение устойчивых (робастных) методов обработки данных, на результаты работы которых мало влияет наличие небольшого числа грубо искаженных наблюдений (см. подраздел 3.4).
Обсудим методы отбраковки. Наиболее изучена ситуация, когда результаты наблюдений - числа x1, x2,…, xn, среди них резко выделяется один результат наблюдения, для определенности, максимальный xmax.
	Простейшая вероятностно-статистическая модель такова [3]. При нулевой гипотезе H0 результаты наблюдения x1, x2,…, xn рассматриваются как реализация независимых одинаково распределенных случайных величин числа X1, X2,…, Xn с функцией распределения F(x). При альтернативной гипотезе H1 случайные величины X1, X2,…, Xn также независимы, X1, X2,…, Xn-1 имеют распределение F(x), а Xn - распределение G(x), оно «существенно сдвинуто вправо» относительно F(x), например, G(x)=F(x - A), где A достаточно велико. Если альтернативная гипотеза справедлива, то при  вероятность равенства

стремится к 1, поэтому естественно применять решающее правило следующего вида:
	если xmax.> d, то принять H1,
	если xmax.< d, то принять H0 ,                        (4.5)
где d - параметр решающего правила, который следует определять из вероятностно-статистических соображений.
	При справедливости нулевой гипотезы

Статистический критерий проверки гипотезы H0 , основанный на решающем правиле вида (4.5), имеет уровень значимости , если

т.е.
	(4.6)
Из соотношения (4.6) определяют граничное значение d = d(, n) в решающем правиле (4.5).
	При больших n и малых  согласно известным результатам математического анализа
	(4.7)
поэтому в качестве хорошего приближения к d(, n) рассматривают (1-/n) - квантиль распределения F(x).
	Пусть правило отбраковки задано в соответствии с соотношениями (4.5) и (4.6) с некоторой функцией распределения F, однако выборка берется из функции распределения G, мало отличающейся от F в смысле расстояния Колмогорова: 
	(4.8)
	С помощью соотношения (4.7) получаем, что величина = G(d) для d из уравнения (4.6) находится между  и . Таким образом, уровень значимости критерия, построенного для F, при применении к наблюдениям из G есть 1- и может принимать любые значения в отрезке [1-; 1-]. 
	В частности, при  = 0,01,  = 0,05, n = 5 возможные значения уровня значимости заполняют отрезок [0; 0,1], т.е. уровень значимости может быть в 2 раза выше номинального. А если n возрастает до 30, то максимальный уровень значимости есть 0,297, т.е. почти в 6 раз выше номинального. При дальнейшем росте n верхняя граница для уровня значимости, как нетрудно видеть, приближается к 1.
	Рассмотрим и другой вопрос - насколько правило отбраковки с уровнем значимости  для G может отличаться от такового для F при справедливости неравенства (4.8). С использованием соотношения (4.7) заключаем, что из
		(4.9)
следует, что  где  и  выписаны выше. Решение уравнения (4.9) может принимать любое значение в отрезке []. В частности, при =0,05 и n = 5 для стандартного нормального распределения F имеем d(, n) = 2,319, при  = 0,01 решение уравнения (4.9) может принимать любое значение на луче [2,054; + ), при  =0,005 - любое значение в отрезке [2,170; 2,576].
	При использовании любого другого расстояния между функциями распределения выводы о неустойчивости правил отбраковки также справедливы. Отметим, что проведенные рассмотрения выполнены в рамках «общей схемы устойчивости» (см. главу 14.6).
	Рассмотренные примеры показывают, что при конкретном значении = 0,01 в неравенстве (4.8) весьма неустойчивы как уровни значимости при фиксированном правиле отбраковки, так и параметр d правила отбраковки при фиксированном уровне значимости. Обсудим, насколько реалистично определение функции распределения с точностью 
	Есть два подхода к определению функции распределения результатов наблюдений: эвристический подбор с последующей проверкой с помощью критериев согласия и вывод из некоторой вероятностной модели. 
	Пусть с помощью критерия согласия Колмогорова проверяется гипотеза о том, что выборка взята из распределения F. Пусть функции распределения F и G удовлетворяют соотношению (4.8). Пусть на самом деле выборка взята из распределения G, а не F. При каких  не удастся различить F и G? Для определенности, при каких  гипотеза согласия с F будет приниматься не менее чем в 50% случаев?
	Критерий согласия Колмогорова основан на статистике
	(4.10)
где расстояние  между функциями распределения определено выше в формуле (4.8); H - та функция распределения, согласие с которой проверяется, а Fn - эмпирическая функция распределения (т.е. Fn(х) равно доле наблюдений, меньших х, в выборке объема n). Как показал А.Н. Колмогоров в 1933 г., функция распределения случайной величины  при росте объема выборки n сходится к некоторой функции распределения К(х), которую ныне называют функцией Колмогорова. При этом К(1,36)= 0,95 и К(0,83)=0,50.
	Поскольку выборка взята из распределения G, то с вероятностью 0,50
		(4.11)
(при больших n). 
	Тогда для рассматриваемой выборки с учетом неравенства (4.8) и неравенства треугольника для расстояния Колмогорова с учетом симметричности этого расстояния имеем 

Если

т.е.
		(4.12)
то, согласно формуле (4.10), гипотеза согласия принимается (на уровне значимости 0,95) по крайней мере с той же вероятностью, с которой выполнено неравенство (4.11), т.е. с вероятностью не менее 0,50. Для = 0,01 это условие выполняется при n < 2809. Таким образом, для определения функции распределения с точностью  с помощью критерия согласия Колмогорова необходимо несколько тысяч наблюдений, что для большинства задач прикладной статистики нереально. 
	При втором из названных выше подходов к определению функции распределения ее конкретный вид выводится из некоторой системы аксиом, в частности, из некоторой модели порождения соответствующей случайной величины. Например, из модели суммирования вытекает нормальное распределение. А из мультипликативной модели (т.е. модели перемножения) - логарифмически нормальное распределение. Как правило, при выводе используется предельный переход. Так, из Центральной предельной теоремы теории вероятностей вытекает, что сумма независимых случайных величин может быть приближена нормальным распределением. Однако более детальный анализ, в частности, с помощью неравенства Берри-Эссеена (см. раздел 2.1) показывает, что для гарантированного достижения точности  необходимо более полутора тысяч слагаемых. Такого количества слагаемых реально, конечно, указать почти никогда нельзя. Это означает, что при решении практических статистических задач теория дает возможность лишь сформулировать гипотезу о виде функции распределения, а проверять ее надо с помощью анализа реальной выборки объема, как показано выше, не менее нескольких тысяч. 
	Таким образом, в большинстве реальных ситуаций определить функцию распределения с точностью  невозможно.
	Итак, показано, что правила отбраковки, основанные на использовании конкретной функции распределения, являются крайне неустойчивыми к отклонениям от нее распределения элементов выборки, а гарантировать отсутствие подобных отклонений почти всегда невозможно. Поэтому отбраковка по классическим правилам математической статистики [3] не является научно обоснованной, особенно при больших объемах выборок. Указанные правила целесообразно применять лишь для выявления «подозрительных» наблюдений, вопрос об отбраковке которых должен решаться из соображений соответствующей предметной области, а не из формально-математических соображений. 
	Выше для простоты изложения рассмотрен лишь случай полностью известного распределения F, для которого изучено правило отбраковки, заданное формулами (4.5) и (4.6). Аналогичные выводы о крайней неустойчивости правил отбраковки справедливы, если «истинное распределение» принадлежит какому-либо параметрическому семейству, например, нормальному, Вейбулла-Гнеденко, гамма.
	Параметрическим методам отбраковки, основанным на моделях тех или иных параметрических семейств распределений, посвящены многочисленные книги и статьи. Приходится признать, что они имеют в основном внутриматематический интерес. При обработке реальных данных следует применять устойчивые методы (см. разделы 3.4 и 14.6). Прежде всего можно рекомендовать непараметрические методы, а среди них – ранговые (т.е. инвариантные в порядковой шкале).

4.3. Предельная теория непараметрических критериев

	В прикладной статистике широко используются статистики типа омега-квадрат и типа Колмогорова-Смирнова. Они применяются для проверки согласия с фиксированным распределением или семейством распределений, для проверки однородности двух выборок, симметрии распределения относительно 0, при оценивании условной плотности и регрессии в пространствах произвольной природы и т.д. 
	Статистики интегрального типа и их асимптотика. Рассмотрим статистики интегрального типа
,		(4.13)
где Х – некоторое пространство, по которому происходит интегрирование (например, X = [0; 1], X = R1 или X = Rk). Здесь {α} – направленное множество, переход к пределу по которому обозначен как α→∞ (см. главу 14). 
	Случайные функции fα: X×Ω → Y обычно принимают значения, являющиеся числами. Но иногда рассматривают и постановки, в которых У = Rk или У – банахово пространство (т.е. полное нормированное пространство [1]). Наконец, Fα(x,ω) – случайная функция распределения или случайная вероятностная мера; в последнем случае используют также обозначение dFα(x,ω)= Fα(dx,ω).
	Предполагаются выполненными необходимые для корректности внутриматематические предположения измеримости, например, сформулированные в [1].
	Пример 1. Рассмотрим критерий Лемана – Розенблатта, т.е. критерий типа омега-квадрат для проверки однородности двух независимых выборок (см. главу 5). Его статистика имеет вид:
A = Fm(x) – Gn(x))2dHm+n(x) ,
где Fm(x) – эмпирическая функция распределения, построенная по первой выборке объема m, Gn(x)) - эмпирическая функция распределения, построенная по второй выборке объема n, а Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке объема m+n. Легко видеть, что
Hm+n(x) = Fm(x) + Gn(x).
	Ясно, что статистика А имеет вид (4.13). При этом х – действительное число, Х = У = R1, в роли α выступает пара (m, n), и α→∞ означает, что min(m, n) → ∞. Далее, 
fα(x,ω) =.
Наконец, Fα(x,ω) = Hm+n(x).
	Теперь обсудим асимптотическое поведение функций fα(x,ω) и Fα(x,ω), с помощью которых определяется статистика А. Ограничимся случаем, когда справедлива гипотеза однородности, функции распределения, соответствующие генеральным совокупностям, из которых взяты выборки, совпадают. Их общую функцию распределения обозначим F(x). Она предполагается непрерывной. 
	Введем в рассмотрение выборочные процессы
.
Нетрудно проверить, что
.
	Сделаем замену переменной t = F(x). Тогда выборочные процессы переходят в соответствующие эмпирические (см. главу 14):
.
Конечномерные распределения этого процесса, т.е. распределения случайных векторов

для всех возможных наборов (t1, t2, … , tk), сходятся к конечномерным распределениям квадрата броуновского моста ξ2(t). В соответствии с разделом 14.5 рассматриваемая сходимость по распределению обозначается так:
.		(4.14)
	Нетрудно видеть, что 
Fα(x,ω) = Hm+n(x) → F(x)
при α→∞. С помощью замены переменной t = F(x) получаем, что 
Fα(F-1(t),ω) = Hm+n(F-1(t)) → t		(4.15)
при α→∞. Из соотношений (4.14) и (4.15) хотелось бы сделать вывод, что в случае статистики Лемана - Розенблатта типа омега-квадрат 
,
т.е. предельным распределением этой статистики является классическое распределение омега-квадрат [3], найденное как предельное для одновыборочной статистики критерия согласия омега-квадрат Крамера-Мизеса-Смирнова.
	Действительно, сформулированное утверждение справедливо. Однако доказательство нетривиально. 
	Так, может показаться очевидным следующее утверждение.
	Утверждение 1. Пусть f: [0; 1] → R1 – ограниченная функция, Gn(x) и G(x) – функции распределения, Gn(0) = G(0) =0, Gn(1) = G(1) = 1, причем Gn(x) → G(x) при всех х. Тогда
.		(4.16)
	Это утверждение неверно. Действительно, пусть f(x) = 1, если х рационально, и f(x) = 0, если х иррационально, G(x) = x, а Gn(x) имеет скачки величиной 2-n в точках m/2n, m = 1, 2, … , 2n при всех n =1, 2, … Тогда Gn(x) → G(x) при всех х, однако

при всех n = 1, 2, … Следовательно, вопреки сформулированному выше утверждению 1, 
,
т.е. соотношение (4.16) неверно.
	Итак, сформулируем проблему. Пусть известно, что последовательность случайных функций fα(x, ω) сходится по распределению при α→∞ к случайной функции f(x,ω). Пусть последовательность случайных мер Fα(A,ω) сходится по распределению к вероятностной мере F(A) при α→∞. Если речь идет о конечномерном пространстве и меры задаются функциями распределения, то сходимость Fα(х,ω) к F(х) должна иметь место во всех точках непрерывности F(х). В каких случаях можно утверждать, что при α→∞ справедлив предельный переход    
?
Выше показано, что, например, ограниченности fα(x, ω) для этого недостаточно.
	Метод аппроксимации ступенчатыми функциями. Пусть T = {С1, С2, … , Сk} – разбиение пространства Х на непересекающиеся подмножества. Пусть в каждом элементе Сj разбиения T выделена точка xj, j = 1, 2, … , k. На множестве функций f: X → Y введем оператор AT: если xСj, то
ATf(x) = f(xj), j = 1, 2, … . k.		(4.17)
Тогда ATf – аппроксимация функции f ступенчатыми (кусочно-постоянными) функциями. 
	Пусть fα(x,ω) – последовательность случайных функций на Х, а К(∙) – функционал на множестве всех возможных их траекторий как функций от х. Для изучения распределения К(fα) методом аппроксимации ступенчатыми функциями используют разложение
К(fα) = К(АТfα) + {К(fα) - К(АТfα)}.		(4.18)
Согласно (4.17) распределение первого слагаемого в (4.18) определяется конечномерным распределением случайного элемента, а именно, распределением вектора 
(fα(x1,ω), fα(x2,ω), …  fα(xk,ω)).		(4.19)
	В обычных постановках предельной теории непараметрических критериев распределение вектора (4.19) сходится при α→∞ к соответствующему конечномерному распределению предельной случайной функции f(x,ω), т.е. к распределению случайного вектора 
(f(x1,ω), f(x2,ω), …  f(xk,ω)).		(4.20)
В соответствии с теорией наследования сходимости (глава 14) при слабых условиях на функционал К(∙) из сходимости по распределению вектора (4.19) к вектору (4.20) следует сходимость по распределению К(АТfα) к К(АТf). 
	Используя аналогичное (4.18) разложение
К(f) = К(АТf) + {К(f) - К(АТf)},		(4.21)
можно устанавливать сходимость по распределению К(fα) к К(f) при α→∞ в два этапа: сначала выбрать разбиение Т так, чтобы вторые слагаемые в правых частях соотношений (4.18) и (4.21) были малы, а затем при фиксированном операторе АТ воспользоваться сходимостью по распределению К(АТfα) к К(АТf). 
	Рассмотрим простой пример применения метода аппроксимации ступенчатыми функциями.
	Обобщение теоремы Хелли. Пусть f: [0; 1] → R1 – измеримая функция, Fn(x) – функции распределений, сосредоточенных на отрезке [0; 1]. Пусть Fn(x) сходятся в основном к функции распределения F(x), т.е.
		(4.22)
для всех х, являющихся точками непрерывности F(x).
	Утверждение 2. Если f(x) – непрерывная функция, то
		(4.23)
(рассматриваются интегралы Лебега-Стилтьеса).
	Утверждение 2 известно в литературе как первая теорема Хелли (А.Н. Колмогоров, С.В. Фомин), вторая теорема Хелли (Б.В. Гнеденко), лемма Хелли-Брея (М. Лоэв).
	Естественно поставить вопрос: при каких f из (4.22) следует (4.23)? Необходимо ввести условия и на Fn: если Fn ≡ F, то соотношение (4.23) верно для любой измеримой функции f, для которой интеграл в (4.23) существует. Поэтому рассмотрим следующую постановку.
	Постановка 1. Пусть функция f такова, что для любой последовательности Fn, удовлетворяющей (4.22), справедливо (4.23). Что можно сказать о функции f?
	Нами найдены следующие необходимые и достаточные условия на функцию f.
	Теорема 1. Пусть ограниченная на [0; 1] функция f интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда для любой последовательности функций распределения Fn, сходящейся в основном к F, имеет место предельный переход (4.23).
	Теорема 2. Пусть функция f не интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда существует последовательность функций распределения Fn, сходящаяся в основном к F, для которой соотношение (4.23) не выполнено. 
	Теоремы 1 и 2 в совокупности дают необходимые и достаточные условия для f в постановке 1. А именно, необходимо и достаточно, чтобы ограниченная на [0; 1] функция f была интегрируема по Риману-Стилтьесу по F. 
	Напомним определение интегрируемости функции f по Риману-Стилтьесу по функции распределения F. Рассмотрим разбиение T = {С1, С2, … , Сk}, где
Сi = [yi-1, yi), i = 1, 2, …, m – 1, Сm = [ym-1, ym], 	(4.24)
0 = y0 < y1 < y2 <…< ym = 1.
Выберем в Сi произвольную точку xi, i = 1, 2, …, m, и составим сумму 
.
Если при max(yi – yi-1) → 0 эти суммы стремятся к некоторому пределу (не зависящему ни от способа дробления отрезка [0; 1], ни от выбора точек xi  в каждом из элементов разбиения), то этот предел называется интегралом Римана-Стилтьеса от функции f по функции F по отрезку [0; 1] и обозначается символом, приведенным в правой части равенства (4.23).
	Рассмотрим суммы Дарбу-Стилтьеса

где
.
Ясно, что 
SH(T) < S(T) < SB(T).
Необходимым и достаточным условием интегрируемости по Риману-Стилтьесу является следующее: для любой последовательности разбиений Tk, k = 1, 2, 3, … вида (4.24) такой, что max(yi – yi-1) → 0 при k→∞, имеем
.		(4.25)
	Напомним, что колебанием δ(f, B) функции f на множестве B называется δ(f, B) = sup{|f(x) – f(y)|, xB, yB}. Поскольку 
δ(f, Сi) = Mi – mi,
то условие (4.25) можно записать в виде
. 		(4.26)
Условие (4.26), допускающее обобщение с Х = [0; 1] и f: [0; 1] → R1 на X и f более общего вида, и будем использовать при доказательстве теорем 1 и 2.
	Доказательство теоремы 1. Согласно методу аппроксимации ступенчатыми функциями рассмотрим оператор АТ. Как легко проверить, имеет место разложение
.	(4.27)
	Поскольку
|f(x) - ATf(x)| < δ(f, Xi),  xСi, 
то первое слагаемое в правой части (4.27) не превосходит
,		(4.28)
а второе не превосходит 
.
Согласно определению оператора АТ третье слагаемое в (4.27) имеет вид
.
Очевидно, оно не превосходит по модулю

(здесь используется ограниченность f на X).
	Согласно (4.28) первое слагаемое в правой части (4.27) не превосходит 
.
Поскольку
,
то первое слагаемое в правой части (4.27) не превосходит 
.
	Из оценок, относящихся к трем слагаемым в разложении (4.27), следует, что 
.		(4.29)
	Используя оценку (4.29), докажем, что βn → 0 при n → ∞. Пусть дано ε > 0. Согласно условию интегрируемости функции f по Риману-Стилтьесу, т.е. условию (4.26), можно указать разбиение T = T(ε) такое, что 
,		(4.30)
и в точках yi, i = 1, 2, …, m - 1 (см. (4.24)), функция F непрерывна. 
	Поскольку 
Fn(Xi) = Fn(yi) - Fn(yi-1),
то из (4.22) следует, что существует число n = n(ε) такое, что при n > n(ε) справедливо неравенство
.	(4.31)
Из (4.29), (4.30) и (4.31) следует, что при n > n(ε) справедливо неравенство
,
что и требовалось доказать.
	Обсудим условие ограниченности f. Если оно не выполнено, то из (4.22) не всегда следует (4.23).
	Пример 2. Пусть f(x) = 1/x при x > 0 и f(0)=0. Пусть F(0,5) = 0, т.е. предельное распределение сосредоточено на [1/2; 1]. Пусть распределение Fn на [0; 1/2) имеет единственный атом в точке x = 1/n величиной n-1/2, а на [1/2; 1] справедливо (4.22). Тогда по причинам, изложенным при доказательстве теоремы 1,
,
однако
,
т.е. соотношение (4.23) не выполнено.
	Условие ограниченности подынтегральной функции f можно заменить на условие строгого возрастания функции распределения F. 
	Лемма. Пусть функции распределения F всюду строго возрастает, т.е. из x1 < x2 вытекает F(x1) < F(x2). Пусть функция f интегрируема по Риману-Стилтьесу по F, т.е. выполнено (4.26). Тогда функция f ограничена. 
	Доказательство. Рассмотрим точки 0 = y0 < y1 < y2 <…< y2m = 1 и два разбиения
.
Тогда для любых двух точек х и х′ можно указать конечную последовательность точек x1 = x, x2, x3, …, xs, xs+1 = x′ такую, что любые две соседние точки xi, xi+1, i = 1, 2, …, s, одновременно принадлежат некоторому элементу Ci разбиения T1 или разбиения T2, причем Сi ≠ Сj при i ≠ j. Действительно, пусть . Пусть для определенности q > p. Тогда можно положить x2 = yp+1, x3 = yp+2, …, xs = yq. Поскольку среди элементов разбиений Т1 и Т2 есть С1 = [yp; yp+2), то . Далее, , и т.д.
	Из указанных выше свойств последовательности x1 = x, x2, x3, …, xs, xs+1 = x′ следует, что
.
Пусть теперь число max(yi – yi-2) настолько мало, что согласно (4.26)
.
Тогда согласно двум последним соотношениям
,
что и доказывает лемму.
	Доказательство теоремы 2. Пусть условие (4.26) не выполнено, т.е. существуют число γ > 0 и последовательность разбиений Tn, n = 1, 2, …, такие, что max(yi – yi-1) → 0 при n→∞ и при всех n
.		(4.32)
Для доказательства теоремы построим две последовательности функций распределения F1n и F2n, n = 1, 2, …, для которых выполнено (4.22), но последовательность

не стремится к 0 при n → ∞. Тогда (4.23) не выполнено хотя бы для одной из последовательностей F1n и F2n.
	Для любого С – элемента некоторого разбиения Т – можно указать, как вытекает из определения δ(f, C), точки x1(C) и x2(C) такие, что
f (x1(C)) - f(x2(C)) > Ѕ δ(f, C).		(4.33)
	Построим F1n и F2n следующим образом. Пусть F1n(С) = F2n(С) = F(С) для любого С из Tn. При этом F1n имеет в С один атом в точке x1(C) величиной F(С), а F2n имеет в С также один атом в точке x2(C) той же величины F(С). Другими словами, распределение F1n в С сосредоточено в одной точке, а именно, в x1(C), а распределение F2n сосредоточено в x2(C). Тогда
.		(4.34)
Из (4.32), (4.33) и (4.34) следует, что 
.
	Остается показать, что для последовательностей функций распределения F1n и F2n выполнено (4.22). Пусть х – точка непрерывности F. Пусть
y1(x, T) = max{ykn: ykn < x}, y2(x, T) = min{ ykn: ykn > x}, 
где ykn – точки, определяющие разбиения Tn согласно (4.24). В соответствии с определением Fin
Fin(yj(x, Tn))= F(yj(x, Tn)), i = 1, 2, j = 1, 2,
а потому
|Fin(x) – F(x)| < F(y2(x, Tn)) - F(y1(x, Tn)), i = 1, 2.
В силу условия max(ykn – y(k-1)n) → 0 и непрерывности F в точке x правая часть последнего соотношения стремится к 0 при n → ∞, что и заканчивает доказательство теоремы 2. 
	Теоремы 1 и 2 демонстрируют основные идеи предельной теории статистик интегрального типа и непараметрических критериев в целом. Как показывают эти теоремы, основную роль в рассматриваемой теории играет предельное соотношение (4.26). Отметим, что если δ(f, Tn) → 0 при n → ∞, то (4.26) справедливо, но, вообще говоря, не наоборот. 
	Естественно возникает еще ряд постановок. Пусть (4.26) выполнено для f1 и f2. При каких функциях h это соотношение выполнено для h(x, f1(x), f2(x))? 
	В прикладной статистике вместо f(x) рассматривают fα(x, ω) и f(x, ω), а вместо интегрирования по функциям распределения Fn(x) – интегрирование по случайным мерам Fα(ω). Как меняются формулировки в связи с такой заменой? 
	В связи со слабой сходимостью (т.е. сходимостью по распределению) ATfα к AT и переходом от fα(x, ω) к hα(x, f1α(x, ω), f2α(x, ω)) возникает следующая постановка. Пусть последовательность случайных элементов κα слабо сходится к случайному элементу κ при α→∞. Когда распределения случайных элементов gα(κα) сближаются с распределениями случайных элементов gα(κ)? Полным ответом на последний вопрос являются необходимые и достаточные условия наследования сходимости. Они приведены в главе 14.
	Основные результаты. Наиболее общая теорема типа теоремы 1 выглядит так.
	Теорема 3. Пусть существует последовательность разбиений Tn, n = 1, 2, …, такая, что при n →∞ и α→∞
.		(4.35)
Пусть для любого С, входящего хотя бы в одно из разбиений Tn,
Fα(C, ω) → F(C)		(4.36)
при α→∞ (сходимость по вероятности). Пусть fα асимптотически ограничены по вероятности при α→∞. Тогда 
		(4.37)
при α→∞ (сходимость по вероятности).
	Как известно, полное сепарабельное метрическое пространство называется польским. Это понятие понадобится для формулировки аналога теоремы 2.
	Теорема 4. Пусть Х – польское пространство, У конечномерно, существует измельчающаяся последовательность Tn разбиений, для которой соотношение (4.35) не выполнено. Тогда существует удовлетворяющая (4.36) последовательность Fα, для которой соотношение (4.37) неверно, хотя Fα слабо сходится к F при α→∞.
	Условие (4.35) естественно назвать условием римановости, поскольку в случае, рассмотренном в теореме 1, оно является условием интегрируемости по Риману-Стилтьесу. Рассмотрим наследуемость римановости при переходе от f1α(x, ω) со значениями в У1 и f2α(x, ω) со значениями в У2, удовлетворяющих (4.35), к hα(x, f1α(x, ω), f2α(x, ω)) со значениями в У3.
	Положим
,
где ||∙||k – норма (т.е. длина вектора) в пространстве Yk, k = 1, 2. Рассмотрим также множества

и функции
.
Наконец, понадобится измеритель колеблемости 

и множество
.
	Теорема 5. Пусть hα асимптотически (при α→∞) ограничены на Z(a) при любом положительном a, функции f1α и f2α асимптотически ограничены по вероятности и удовлетворяют условию (4.35). Пусть для участвующей в (4.35) последовательности Tn
c(hα, Tn, a, ε) → 0		(4.38)
при α→∞, n→∞, ε→ 0 и любом положительном a. Тогда f3α(x, ω) = hα(x, f1α(x, ω), f2α(x, ω)) удовлетворяют условию (4.35) и асимптотически ограничены по вероятности. 
	Теорема 6. Пусть условие (4.38) не выполнено для hα. Тогда существуют детерминированные ограниченные функции f1α и f2α такие, что соотношение (4.35) выполнено для f1α и f2α и не выполнено для f3α.
	Пример 3. Пусть X = [0; 1]k, пространства Y1 и Y2 конечномерны, функция hα ≡ h(x, y1, y2) непрерывна. Тогда условие (4.38) выполнено.
	С помощью теорем 3 и 5 и результатов о наследовании сходимости можно изучить асимптотическое поведение статистик интегрального типа

со значениями в банаховом пространстве У. 
	Теорема 7. Пусть для некоторой последовательности Tn разбиений Х справедливы соотношения (4.35) для f1α и f2α и (4.36) для Fα. Пусть последовательность функций hα удовлетворяет условию в теореме 5, конечномерные распределения (f1α(x, ω), f2α(x, ω)) слабо сходятся к конечномерным распределениям (f1(x, ω), f2(x, ω)), причем для f1 и f2 справедливо соотношение (4.35). Тогда
,
где L – расстояние Прохорова (см. раздел 14.3),
.
	Теорема 7 дает общий метод получения асимптотических распределений статистик интегрального типа. Важно, что соотношение (4.35) выполнено для эмпирического процесса и для процессов, связанных с оцениванием параметров при проверке согласия [1]. 
	Один из выводов общей теории: в качестве Fα можно использовать практически любую состоятельную оценку истинной функции распределения. Этот вывод использовался при построении критерия типа омега-квадрат для проверки симметрии распределения относительно 0 и обнаружения различий в связанных выборках (глава 5).
	Асимптотическое поведение критериев типа Колмогорова может быть получено с помощью описанного выше метода аппроксимации ступенчатыми функциями. Этот метод не требует обращения к теории сходимости вероятностных мер в функциональных пространствах. Для критериев Колмогорова и Смирнова достаточно использовать лишь свойства эмпирического процесса и броуновского моста. В случае проверки согласия добавляется необходимость изучения еще одного  случайного процесса. Он является разностью между двумя функциями распределения. Одна - функция распределения элементов выборки. Вторая - член параметрического семейства распределений, полученный путем подстановки оценок параметров вместо их истинных значений.  

4.4. Метод проверки гипотез по совокупности малых выборок
 
	Одна из областей применения прикладной статистики – статистические методы управления качеством продукции (см. главу 10 настоящего учебника). К ним относится статистический приемочный контроль, в котором по результатам испытаний элементов выборки делается вывод о качестве партии продукции. В простейшем варианте проводится контроль по альтернативному признаку, при котором возможны лишь два результата контроля конкретной единицы продукции – «соответствует требованиям» или «не соответствует требованиям», короче – «да» или «нет». 
	Рассмотрим статистический приемочный контроль по двум альтернативным признакам одновременно. На основе теории люсианов [1] обсудим проблему проверки независимости двух альтернативных признаков. Ее приходится проводить по совокупности малых выборок, т.е. в так называемой асимптотике А.Н.Колмогорова, когда число неизвестных параметров распределения не является постоянным, а растет пропорционально объему данных.
	Испытания по двум альтернативным признакам. При статистическом контроле качества продукции, в частности, при сертификации, чаще всего используют контроль по альтернативным признакам. При этом устанавливается, соответствует ли контролируемый параметр единицы продукции (изделия, детали) заданным в нормативно-технической документации требованиям или не соответствует. Если соответствует - единица продукции признается годной. Примем для определенности, что в этом случае результат контроля кодируется символом 0. Если же не соответствует - единица продукции признается дефектной, а результат контроля кодируется символом 1. 
	Таким образом, в рассматриваемой нами математической модели контроля альтернативный признак - это функция X = X(w), определенная на множестве единиц продукции W = {w} и принимающая два значения 0 и 1. Причем X(w) = 0 означает, что единица продукции w является годной, а X(w) = 1 - что она является дефектной. 
	Методы статистического контроля, в частности, включенные в государственные стандарты и иную нормативно-техническую документацию (НТД), как правило, используют контроль по одному признаку. В НТД указывают правила выбора планов контроля и расчета различных их характеристик, приводят графики оперативных характеристик и т.п.
	Однако на производстве контроль нередко проводится по нескольким альтернативным признакам. Возникает проблема выбора плана контроля и расчета его характеристик. 
	Рассмотрим сначала контроль по двум альтернативным признакам X(w) и Y(w). В вероятностной модели X(w) и Y(w) - случайные величины, принимающие два значения - 0 и 1. Пусть, пользуясь стандартной (для статистических методов управления качеством) терминологией,  
p1 = P(X(w) = 1) 
-  входной уровень дефектности для первого признака, а
p2 = P(Y(w) = 1) 
- для второго. Вероятности результатов контроля по двум признакам одновременно описываются четырьмя числами:
P(X(w) = 0, Y(w) = 0) = p00, P(X(w) = 1, Y(w) = 0) = p10,
P(X(w) = 0, Y(w) = 1) = p01,  P(X(w) = 1, Y(w) = 1) = p11.
При этом справедливы соотношения: 
p00 + p10 + p01 + p11 = 1,   p10  + p11 =  p1,  p01 + p11 = p2.
С прикладной точки зрения наиболее интересна вероятность p00 того, что единица продукции является годной (по всем параметрам), и вероятность ее дефектности (1-p00 ), т.е. входной уровень дефектности для изделия в целом.
	В табл. 4.1 сведены вместе введенные выше вероятности.
 
Таблица 4.1
Вероятности результаты испытаний при контроле
по двум альтернативным признакам
	X=0	X=1	Всего	
Y=0				
Y=1				
Всего			1	

	Есть три важных частных случая - поглощения, несовместности и независимости дефектов. Другими словами, поглощения, несовместности и независимости событий {w: X(w) = 1} и {w: Y(w) = 1}. В случае поглощения одно из этих событий содержит другое, а потому 
p00 = 1 - max(p1 , p2).
В случае несовместности
p00 = 1 - p1  - p2.
В случае независимости
p00   = (1 - p1)(1 - p2) =  1 - p1 - p2 + p1p2.
Очевидно, что вероятность годности изделия всегда заключена между значениями, соответствующими случаям поглощения и несовместности. Кроме того, известно, что при большом числе признаков и малой вероятности дефектности по каждому из них случаи поглощения и независимости дают (в асимптотике) крайние значения для вероятности годности изделия, т.е. формулы, соответствующие независимости и несовместности, асимптотически совпадают. Причина этого явления в том, что при малости p1 и p2 их произведение p1p2 является бесконечно малой более высокого порядка по сравнения с p1 и p2.
	Рассмотрим несколько примеров. Пусть некоторая продукция, скажем, гвозди, контролируются по двум альтернативным признакам, для определенности, по весу и длине. Пусть результаты контроля 1000 единиц продукции представлены в табл. 4.2. 

Таблица 4.2 
Результаты 1000 испытаний по двум
альтернативным признакам (случай поглощения)
	Х=0	Х=1	Всего	
У=0	952	0	952	
У=1	0	48	48	
Всего	952	48	1000	

	Судя по данным табл. 4.2, дефекты всегда встречаются парами - если есть один, то есть и другой. Входной уровень дефектности как по каждому показателю, так и по обоим вместе - один и тот же, а именно, 0,048. Получив по результатам статистического наблюдения данные типа приведенных в табл. 4.2, целесообразно перейти к контролю только одного показателя, а не двух. Каково именно? Видимо, того, контроль которого дешевле. Однако совсем иная ситуация в случае несовместности дефектов (табл. 4.3).

Таблица 4.3
Результаты 1000 испытаний по двум
альтернативным признакам (случай несовместности )
	Х=0	Х=1	Всего	
У=0	904	48	952	
У=1	48	0	48	
Всего	952	48	1000	

	Судя по данным табл. 4.3, дефекты всегда встречаются поодиночке  - если есть один, то другого нет. В результате входной уровень дефектности по каждому признаку по-прежнему равен 0,048, в то время как доля дефектных изделий (т.е. имеющих хотя бы один дефект) вдвое выше, т.е. входной уровень дефектности для изделия в целом равен 0,096.
	Случай независимости результатов контроля по двум независимым признакам (табл. 4.4) лежит между крайними случаями поглощения и несовместности. Независимость альтернативных признаков обосновывается путем статистической проверки с помощью описанного ниже критерия n1/2V. 

Таблица 4.4 
Результаты 1000 испытаний по двум
альтернативным признакам (случай независимости)
	Х=0	Х=1	Всего	
У=0	909	43	952	
У=1	43	5	48	
Всего	952	48	1000	

	Согласно данным табл. 4.4, входной уровень дефектности для каждого из двух альтернативных признаков по-прежнему равен 0,048, в то время как для изделий в целом он равен 0,091, т.е. на 5,2% меньше, чем в случае несовместности, и на 89,6% больше, чем в случае поглощения.
	Проблема в том, что таблицы и стандарты по статистическому приемочному контролю относятся обычно к случаю одного контролируемого параметра. А как быть, если контролируемых параметров несколько? Приведенные выше примеры показывают, что входной уровень дефектности изделия в целом не определяется однозначно по входным уровням дефектности отдельных его параметров.
	Гипотеза независимости. Как должны соотноситься характеристики планов контроля по отдельным признакам с характеристиками плана контроля по двум (или многим) признакам одновременно? Рассмотрим распространенную рекомендацию - складывать уровни дефектности, т.е. считать, что уровень дефектности изделия в целом равен сумме уровней дефектности по отдельным его параметрам. Она, очевидно, опирается на гипотезу несовместности дефектов, а потому во многих случаях преувеличивает дефектность, следовательно, ведет к использованию излишне жестких планов контроля, что экономически невыгодно.
	Зная специфику применяемых технологических процессов, в ряде конкретных случаев можно предположить, что дефекты по различным признакам возникают независимо друг от друга. Это предположение необходимо обосновывать по статистическим данным. Если же оно обосновано, следует рассчитывать входной уровень дефектности по формуле
1 - p00 = p1 + p2 - p1p2,
 соответствующей независимости признаков.
	 Итак, необходимо уметь проверять по статистическим данным гипотезу независимости двух альтернативных признаков. Речь идет о статистической проверке нулевой гипотезы
Н0:  p11 = p1 p2 		 (4.39) 
(что эквивалентно проверке равенства p00 = (1 - p1)(1 - p2)). Нетрудно проверить, что гипотеза о справедливости равенства (4.39) эквивалентна гипотезе
 Н0 : p00 p11 - p10 p01 = 0. 		(4.40)
	В простейшем случае предполагается, что проведено n независимых испытаний (Xi , Yi), i = 1, 2, ..., n, в каждом из которых проконтролированы два альтернативных признака, а вероятности результатов контроля не меняются от испытания к испытанию. Общий вид статистических данных приведен в табл. 4.5. 

Таблица 4.5
Общий вид результатов контроля
по двум альтернативным признакам
	Х=0	Х=1	Всего	
У=0	a	b	a+b	
У=1	c	d	c+d	
Всего	a+c	b+d	n	

	В табл. 4.5 величина a - число испытаний, в которых (Xi , Yi) = (0,0), величина b - число испытаний, в которых (Xi , Yi) = (1,0), и т.д.
	Случайный вектор (a, b, c, d) имеет мультиномиальное распределение с числом испытаний n и вектором вероятностей исходов (p00, p10, p01, p11). Состоятельными оценками этих вероятностей являются дроби a/n, b/n, c/n, d/n соответственно. Следовательно, критерий проверки гипотезы (4.40) может быть основан на статистике 
Z = ad - bc.		(4.41)
Как вытекает из известной формулы для ковариаций мультиномиального вектора (см., например, формулу (6.3.5) в учебнике С.Уилкса [5] на с.153),
М(Z) = n (p10 p01  - p00 p11), 		(4.42)
что равно 0 при справедливости гипотезы независимости (4.40).
	Связь между переменными X и Y обычно измеряется коэффициентом, отличающимся от Z нормирующим множителем: 
V = (ad - bc){(a + b)(a + c)(b + d)(c + d)}-1/2 
(см. классическую монографию М. Дж. Кендалла и А. Стьюарта [6, с.723]). При справедливости гипотезы Н0 и больших n случайная величина nV2 имеет хи-квадрат распределение с одной степенью свободы, а n1/2V имеет стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 (см. [6, с.736]). Значение n1/2V для данных табл. 4.4 равно 1,866, т.е на уровне значимости 0,05 гипотезу независимости следует принять.
	Пусть проведено 100 испытаний, результаты которых описаны в табл. 4.6. Тогда
V = (50 . 20 - 10 . 20) (60 . 70 . 30 . 40)-1/2 = 
= (1000 - 200) . 5940000-1/2 = 800 / 2245 = 0,35635,
n1/2V = 3,5635  .

Таблица 4.6
Результаты 100 испытаний по двум альтернативным признакам
	Х=0	Х=1	Всего	
У=0	50	10	60	
У=1	20	20	40	
Всего	70	30	100	

	Поскольку полученное значение n1/2V превышает критическое значение при любом применяемом в статистике уровне значимости, то гипотезу о независимости признаков необходимо отклонить. 
	Проверка гипотез по совокупности малых выборок. К сожалению, приведенный простой метод годится не всегда. При статистическом анализе реальных данных возникают проблемы, связанные с отсутствием достаточно больших однородных выборок, т.е. выборок, в которых постоянны параметры вероятностных распределений. Реально единицы продукции представляются на контроль партиями. Из каждой партии контролируются лишь несколько изделий, т.е. малая выборка. От партии к партии меняются параметры p00, p10, p01, p11, описывающие уровень дефектности. Поэтому необходимы статистические методы, позволяющие проверять гипотезу независимости признаков по совокупности малых выборок. Построим один из возможных методов.
	Рассмотрим вероятностную модель совокупности k малых выборок объемов n1 , n2 ,..., nk соответственно. Пусть j -я выборка (Xjt , Yjt), t = 1, 2,..., nj , имеет распределение, задаваемое вектором параметров (p00j, p10j, p01j, p11j) в соответствии с ранее введенными обозначениями, j = 1,2,...,k . Будем проверять гипотезу
Н0: p11j = (p10j + p11j) (p01j + p11j), j = 1,2,...,k,  		(4.43)
или в эквивалентной формулировке 
 Н0:  p11j p00j -  p10j p01j , j = 1,2,...,k .			(4.44)
	Основная идея состоит в нахождении асимптотического распределения статистики типа n1/2V при росте числа k малых выборок, а именно, статистики
 S = g1 Z1 +  g2 Z2 + ... +  gk Zk ,		(4.45)
где Z1, Z2, ..., Zk - статистики, рассчитанные по формуле (4.41) для каждой из k выборок, т.е. Zj = ajdj – bjcj , j = 1, 2, ..., k, а g1 , g2 , ... , gk - некоторые весовые коэффициенты, которые, в частности, могут совпадать. Поскольку
М(S) = g1 М(Z1) +  g2 М(Z2) + ... +  gk М(Zk),
то при справедливости гипотезы независимости (4.43) - (4.44) имеем М(S) = 0 согласно соотношению (4.42). Поскольку слагаемые в сумме (4.45) независимы, то при росте k случайная величина S в силу Центральной предельной теоремы является асимптотически нормальной. Дисперсия этой величины равна сумме дисперсий слагаемых:
.	(4.46)
	Для оценивания дисперсии S необходимо использовать несмещенные оценки дисперсий в каждой из k выборок (и в этом одна из основных «изюминок» разбираемого метода). Предположим, что построены статистики Tj такие, что 
М(Tj) = D(Zj) , j = 1, 2, ..., k.		(4.47)
Тогда при некоторых математических «условиях регулярности», на которых нет необходимости здесь останавливаться, несмещенная оценка дисперсии статистики S, имеющая согласно формулам (4.46) и (4.47) вид 
,
в силу закона больших чисел такова, что дробь D(S)/L приближается к 1 при росте числа выборок (сходимость по вероятности). Отсюда следует, что распределение случайной величины Q = SL-1|2 приближается при росте числа выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Следовательно, критерий проверки гипотезы (4.43) - (4.44) независимости признаков, состоящий в том, что при (-1,96) < Q < 1,96 гипотеза принимается, а при Q , выходящих за пределы интервала (-1,96; 1,96), гипотеза отклоняется, имеет уровень значимости, приближающийся к 0,05 при росте числа выборок. Мощность этого критерия зависит от величины М(S)D(S)-1/2 при альтернативной гипотезе.
	Для реализации намеченного плана осталось научиться несмещенно оценивать D(Zj). К сожалению, в литературе по несмещенному оцениванию не рассматривают случай мультиномиального распределения, поэтому кратко опишем процедуру построения несмещенной оценки D(Zj). Поскольку согласно формулам (4.41) и (4.42)
	(4.48)
то для вычисления D(Zj) достаточно найти входящие в правую часть формулы (4.48) начальные смешанные моменты мультиномиального распределения (четвертого порядка). Теоретически это просто - известен вид характеристической функции мультиномиального распределения (см., например, формулу (6.3.4) в монографии [5, с.152]), а начальные смешанные моменты равны значениям ее соответствующих производных в 0, деленным на нужную степень мнимой единицы (формула (5.2.3) в монографии [5, с.131]). Например, с помощью описанной процедуры после некоторых вычислений получаем, что (для упрощения записи здесь и далее опустим индекс j)
		(4.49)
	Формула (4.49) показывает, что начальные смешанные моменты мультиномиального распределения являются многочленами от параметров p11, p00, p10, p01 этого распределения, однако конкретный вид этих многочленов достаточно громоздок, поэтому не будем их здесь выписывать, ограничившись формулой (4.49) в качестве образца. 
	Как вытекает из формул (4.48) и (4.49), для построения несмещенной оценки D(Zj) достаточно научиться несмещенно оценивать произведения типа , где целые неотрицательные числа r, m не превосходят 2. Эта задача решается, начиная с меньших  степеней. Известно, что для ковариации мультиномиального вектора 
М(ad) = - n p00 p11 		(4.50)
(см., например, формулу (6.3.5) в монографии [5, с.153]), а потому несмещенной оценкой для p00p11 является (-ad/n). Далее, поскольку справедлива аналогичная (4.49) формула
, 		(4.51)
то с помощью формулы (4.50) преобразуем формулу (4.51) к виду
,		(4.52)
т.е. несмещенной оценкой  является ad(a+n-1){n(n-1)(n-2)}-1. 
	Следующий шаг - аналогичным образом с помощью формул (4.50) и (4.52) получаем несмещенную оценку для , а затем и для D(Zj). Промежуточные формулы опущены из-за громоздкости. Окончательный результат таков:
.
Как легко видеть, 
,
т.е. в случае одной выборки предлагаемый метод совпадает с классическим. 
	Общая идея рассматриваемого метода проверки гипотез по совокупности малых выборок в том, что подбирается статистика, математическое ожидание которой для каждой малой выборки равно 0 при справедливости проверяемой гипотезы. Затем для каждой выборки строится несмещенная оценка дисперсии этой статистики. Итоговая статистика критерия для проверки гипотезы - это сумма рассматриваемых статистик для всех малых выборок, деленная на квадратный корень из суммы всех несмещенных оценок дисперсий рассматриваемых статистик. При справедливости нулевой гипотезы эта итоговая статистика имеет в асимптотике стандартное нормальное распределение (при выполнении некоторых математических «условий регулярности», которые обычно выполняются при анализе реальных статистических данных).  
	Впервые такой способ проверки гипотез по совокупности малых выборок был предложен в монографии [7, раздел 4.5]. Нестандартность постановки состоит в том, что число неизвестных параметров растет пропорционально объему данных, т.е. имеет место т.н. «асимптотика Колмогорова», или асимптотика растущей размерности. Дальнейшее развитие применительно к данных типа «да» - «нет» (или «годен» - «дефектен») шло в рамках теории люсианов как части статистики объектов нечисловой природы [1]. 

4.5. Проблема множественных проверок статистических гипотез

	Практика применения методов прикладной статистики часто выходит за границы классической математико-статистической теории. В качестве примера рассмотрим множественную проверку статистических гипотез. 
	Базовая теоретическая модель касается проверки одной-единственной статистической гипотезы. На практике же при выполнении того или иного прикладного исследования гипотезы зачастую проверяют неоднократно. При этом, как правило, остается неясным, как влияют результаты предыдущих проверок на характеристики (уровень значимости, мощность) последующих проверок. Есть ли вообще влияние? Как его оценить? Как его учесть при формулировке окончательных выводов?
	Изучены лишь некоторые схемы множественных проверок, например, схема последовательного анализа А. Вальда или схема оценивания степени полинома в регрессии путем последовательной проверки адекватности модели (см. главу 6). В таких исключительных постановках удается рассчитать характеристики статистических процедур, включающих множественные проверки статистических гипотез.
	Однако в большинстве важных для практики случаев статистические свойства процедур анализа данных, основанных на множественных проверках, остаются пока неизвестными. Примерами являются процедуры нахождения информативных подмножеств признаков (коэффициенты для таких и только таких признаков отличны от 0) в регрессионном анализе или выявления отклонений параметров в автоматизированных системах управления. 
	В таких системах происходит слежение за большим числом параметров. Резкое изменение значения параметра свидетельствует об изменении режима работы системы, что, как правило, требует управляющего воздействия. Существует теория для определения границ допустимых колебаний одного или фиксированного числа параметров. Например, можно использовать контрольные карты Шухарта или кумулятивных сумм, а также их многомерные аналоги (см. главу 10 настоящего учебника). В подавляющем большинстве постановок, согласно обычно используемым вероятностным моделям, для каждого параметра, находящемся в стабильном («налаженном») состоянии, существует хотя и малая, но положительная вероятность того, что его значение выйдет за заданные границы. Тогда система зафиксирует резкое изменение значения параметра («ложная разладка»). При достаточно большом числе параметров с вероятностью, близкой к 1, будет обнаружено несколько «случайных сбоев», среди которых могут «затеряться» и реальные отказы подсистем. Можно доказать, что при большом числе параметров имеется два крайних случая - независимых (в совокупности) параметров и функционально связанных  параметров, а для всех остальных систем вероятность обнаружения резкого отклонения хотя бы у одного параметра лежит между соответствующими вероятностями для этих двух крайних случаев.
	Почему трудно изучать статистические процедуры, использующие множественные проверки гипотез? Причина в том, что результаты последовательно проводящихся проверок, как правило, не являются независимыми (в смысле независимости случайных элементов). Более того, последовательность проверок зачастую задается исследователем произвольно.
	Проблема множественных проверок статистических гипотез - часть более общей проблемы «стыковки» (сопряжения, последовательного выполнения) статистических процедур. Дело в том, что каждая процедура может применяться лишь при некоторых условиях, а в результате применения предыдущих процедур эти условия могут нарушаться. Например, часто рекомендуют перед восстановлением зависимости (регрессионным анализом) разбить данные на однородные группы с помощью какого-либо алгоритма классификации, а затем строить зависимости для каждой из выделенных групп отдельно. Здесь идет речь о «стыковке» алгоритмов классификации и регрессии. Как вытекает из рассмотрений статьи [8], попадающие в одну однородную группу результаты наблюдений зависимы и их распределение не является нормальным (гауссовым), поскольку они лежат в ограниченной по некоторым направлениям области, причем границы зависят от всей совокупности результатов наблюдений. При росте объема выборки зависимость уменьшается, но ненормальность остается. Распределение результатов наблюдений, попавших в одну группу, приближается не к нормальному, а к усеченному нормальному. Следовательно, алгоритмами регрессионного анализа, основанными на «нормальной теории», пользоваться некорректно. Целесообразно применять непараметрическую или робастную регрессию.
	Проблема «стыковки» статистических процедур обсуждается давно. По этой проблеме проведен ряд исследований, но окончательных результатов получено не было. По нашему мнению, на скорое решение проблемы «стыковки» рассчитывать нельзя. Возможно, она является столь же «вечной», как и проблема выбора между средним арифметическим и медианой как характеристиками «центра» выборки. 
	Теоретическое исследование является весьма сложным, сколько-нибудь интересные результаты удается получить лишь для отдельных постановок. Поэтому вполне естественно, что многие исследователи применяют метод статистического моделирования на ЭВМ. Однако нельзя забывать о проблеме качества псевдослучайных чисел. Достоинства и недостатки различных алгоритмов получения псевдослучайных чисел много лет обсуждаются в различных изданиях.
	Моделирование мышления статистика-прикладника показывает, насколько мешает устаревшее представление о том, что для проверки гипотез необходимо задавать определенный уровень значимости. Особенно оно мешает, если в дальнейшем понадобятся дальнейшие проверки. Гораздо удобнее использовать «достигаемый уровень значимости», т.е. вероятность того, что статистика критерия покажет большее отклонение от нулевой гипотезы, чем то отклонение, что соответствует имеющимся экспериментальным данным. Если есть желание, можно сравнивать «достигаемый уровень значимости» с заданными значениями 0,05 или 0,01. Так, если «достигаемый уровень значимости» меньше 0,01, то нулевая гипотеза отвергается на уровне значимости 0,01, в противном случае - принимается. Следует рассчитывать «достигаемый уровень значимости» всегда, когда для этого есть вычислительные возможности.
	Переход к «достигаемому уровню значимости» может избавить прикладника от еще одной трудности, связанной с использованием непараметрических критериев. Дело в том, что их распределения, как правило, дискретны, поскольку эти критерии используют только ранги наблюдений. Поэтому обычно невозможно построить критерий с заданным номинальным уровнем значимости - реальный уровень значимости может принимать лишь конечное число значений, среди которых, как правило, нет ни 0,05, ни 0,01, ни других популярных номинальных значений.
	Невозможность построения критических областей критериев с заданными уровнями значимости затрудняет сравнение критериев по мощности, как это продемонстрировано в разделе 5.7 ниже. Есть формальный способ достичь заданного номинального уровня значимости - провести рандомизацию, т.е. при определенном (граничном) значении статистики критерия провести независимый случайный эксперимент, в котором одни исходы (с заданной суммарной вероятностью) приводят к принятию гипотезы, а остальные - к ее отклонению. Однако подобную процедуру рандомизации прикладнику трудно принять - как оправдать то, что одни и те же экспериментальные данные могут быть основанием как для принятия гипотезы, так и для ее отклонения? Вспоминается обложка журнала «Крокодил», на которой один хозяйственник говорит другому: «Бросим монетку. Упадет гербом - будем строить завод, а упадет решкой - нет». Описанная процедура рандомизации имеет практический смысл лишь при массовой рутинной проверке гипотез, например, при статистическом контроле больших выборок изделий или деталей.
	При использовании все еще распространенных критериев Стьюдента, Фишера и других параметрических статистических критериев - свои проблемы. Такие критерии построены исходя из предположения о том, что функции распределения результатов наблюдений входят в определенные параметрические семейства небольшой размерности. Наиболее распространена гипотеза нормальности распределения. Однако давно известно, что подавляющее большинство реальных распределений результатов измерений не являются нормальными. Об этом говорится в классической для инженеров и организаторов производства монографии В.В. Налимова [9], создателя отечественной научной школы в области планирования экспекримента. Ряд недавно полученных конкретных экспериментальных фактов и теоретических соображений, подтверждающих точку зрения В.В. Налимова, рассмотрен в главе 2.1.
	Как же быть? Проверять нормальность распределения своих данных? Но это дело непростое, можно допустить те или иные ошибки, в частности, применяя критерии типа Колмогорова или типа омега-квадрат. Как уже говорилось (в главе 1.2), одна из наиболее распространенных ошибок состоит в том, что в статистики вместо неизвестных параметров подставляют их оценки, но при этом пользуются критическими значениями, рассчитанными для случая, когда параметры полностью известны. Кроме того, для сколько-нибудь надежной проверки нормальности нужны тысячи наблюдений (см. подраздел 2.1). Поэтому в подавляющем большинстве реальных задач нет оснований принимать гипотезу нормальности. В лучшем случае можно говорить о том, что распределение результатов наблюдений мало отличается от нормального.
	Как влияют отклонения от нормальности на свойства статистических процедур? Для разных процедур - разный ответ. Если речь идет об отбраковке выбросов  - влияние отклонений от нормальности настолько велико, что делает процедуру отбраковки с практической точки зрения эвристической, а не научно обоснованной (см. раздел 4.2). Если же речь идет о проверке однородности двух выборок с помощью критерия Стьюдента (при априорном предположении о равенстве дисперсий) или Крамера-Уэлча (при отсутствии такого предположения), то при росте объемов выборок влияние отклонений от нормальности убывает, как это подробно показано в главе 5. Это вытекает из Центральной предельной теоремы. Правда, при этом оказывается, что процентные точки распределения Стьюдента не приносят реальной пользы, достаточно использовать процентные точки предельного нормального распределения. 
	Весьма важна постоянно встающая перед исследователем проблема выбора того или иного статистического критерия для решения конкретной прикладной задачи. Например, как проверять однородность двух независимых выборок числовых результатов наблюдений? Известны параметрические критерии: Стьюдента, Лорда; непараметрические: Крамера-Уэлча, Вилкоксона, Ван-дер-Вардена, Сэвиджа, Мартынова, Смирнова, типа омега-квадрат (Лемана - Розенблатта) и многие другие (см., например, главу 5 и справочник [3]). Какой из них выбрать для конкретных расчетов?
	Некоторые авторы предлагают формировать технологию принятия статистического решения, согласно которой решающее правило формируется на основе комбинации нескольких критериев. Например, технология может предусматривать проведение «голосования»: если из 5 критериев большинство «высказывается» за отклонение гипотезы, то итоговое решение - отвергнуть ее, в противном случае - принять. Однако в таком подходе нет ничего принципиально нового. Просто к уже имеющимся критериям добавляются их комбинации - очередные варианты критериев, тем или иным образом выделяющие критические области в пространствах возможных значений результатов измерений, т.е. попросту увеличивается число рассматриваемых критериев. 
	Итак, имеется некоторая совокупность критериев. У каждого - свой набор значений уровней значимости и мощностей на возможных альтернативах. Математическая статистика демонстрирует в этой ситуации виртуозную математическую технику для анализа частных случаев и полную беспомощность при выдаче практических рекомендаций. Так, оказывается, что практически каждый из известных критериев является оптимальным в том или ином смысле для какого-то набора нулевых гипотез и альтернатив. Математики изучают асимптотическую эффективность в разных смыслах - по Питмену, по Бахадуру и т.д., но - для узкого класса альтернативных гипотез, обычно для альтернативы сдвига. При попытке переноса асимптотических результатов на конечные объемы выборок возникают новые нерешенные проблемы, связанные, в частности, с численным оцениванием скорости сходимости. В целом эта область математической статистики может активно развиваться еще многие десятилетия, выдавая «на гора» превосходные теоремы (которые могут послужить основанием для защит кандидатских и докторских диссертаций, выборов в академики РАН и т.д.), но не давая ничего практике. Хорошо бы, чтобы этот пессимистический прогноз не вполне оправдался!
	С точки зрения прикладной статистики необходимо изучать проблему выбора критерия проверки однородности двух независимых выборок. Такое изучение было проведено, в том числе методом статистических испытаний, и в результате был получен вывод о том, что наиболее целесообразно применять критерий Лемана - Розенблатта типа омега-квадрат (см. главу 5).
	В литературе по прикладным статистическим методам имеется масса ошибочных рекомендаций. Чего стоят хотя бы принципиально неверные государственные стандарты СССР по статистическим методам, а также соответствующие им стандарты СЭВ и ИСО, т.е. Международной организации по стандартизации (о них см. статью [10]). Особо выделяются своим количеством ошибочные рекомендации по применению критерия типа Колмогорова для проверки нормальности. Ошибки есть и в научных статьях, и в нормативных документах (государственных стандартах), и в методических разработках, и даже в вузовских учебниках. К сожалению, нет способа оградить инженера и научного работника, экономиста и менеджера, нуждающихся в применении статистических методов, от литературных источников и нормативно-технических и инструктивно-методических документов с ошибками, неточностями и погрешностями. Единственный способ - либо постоянно поддерживать профессиональные контакты с квалифицированными специалистами по прикладной статистике, либо самому стать таким специалистом. 
	Как оценить достигаемый уровень значимости конкретного критерия, предусматривающего повторные проверки? Сразу ясно, что в большинстве случаев никакая современная теория математической статистики не поможет. Остается использовать современные компьютеры. Методика статистического моделирования может стать ежедневным рабочим инструментом специалиста, занимающегося применением методов анализа данных. Для этого она должна быть реализована в виде соответствующей диалоговой программной системы. Современные персональные компьютеры позволяют проводить статистическое моделирование весьма быстро (за доли секунд). Можно использовать различные модификации бутстрепа - одного  из  вариантов применения статистического моделирования (см. [1]).
	Проведенное обсуждение показывает, как много нерешенных проблем стоит перед специалистом, занимающимся, казалось бы, рутинным применением стандартных статистических процедур.  Теория статистических методов - молодая наука, ее основные проблемы, по нашему мнению, еще не до конца решены. Много работы как в сравнительно новых областях, например, в анализе нечисловых и интервальных данных, так и в классических.

Литература

1. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
2. Большев Л.Н. Избранные труды. Теория вероятностей и математическая статистика. – М.: Наука, 1987. – 286 с.
3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
4. Артемьев Б.Г., Голубов С.М. Справочное пособие для работников метрологических служб.- М.: Изд-во стандартов, 1982. - 280 с.
5. Уилкс С. Математическая статистика. - М.: Наука, 1967. - 632 с.
6. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 900 с.
7. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.  
8. Орлов А.И. Некоторые вероятностные вопросы теории классификации. – В сб.: Прикладная статистика. Ученые записки по статистике, т.45. - М.: Наука, 1983. С.166-179.
9. Налимов В.В. Применение математической статистики при анализе вещества. - М.: Физматгиз, 1960. - 430 с.
10. Орлов А.И. Сертификация и статистические методы (обобщающая статья). // Заводская лаборатория. - 1997. - Т.63. - No.З. - С.55-62.

Контрольные вопросы

1. Сколько выборочных моментов необходимо использовать для проверки согласия с двухпараметрическим семейством функций распределения?
2. Почему методы отбраковки резко выделяющихся результатов наблюдений, основанные на предположении нормальности, нельзя считать научно обоснованными? 
3. Какую роль играет условие интегрируемости по Риману-Стилтьесу в предельной теории статистик интегрального типа?
4. Как проверяют независимость альтернативных признаков с помощью таблиц 2×2?
5. Как влияет предварительное выделение однородных групп на проведение регрессионного анализа?
6. Как повлияет проверка однородности двух совокупностей (с помощью критерия Лемана – Розенблатта) на последующую оценку дисперсии по объединенной выборке (в случае подтверждения однородности)?

Темы докладов, рефератов, исследовательских работ

1. На основе метода моментов разработайте критерий согласия с семейством экспоненциальных распределений.
2. Методы отбраковки выбросов и их анализ с точки зрения теории устойчивости статистических процедур.
3. С помощью метода аппроксимации ступенчатыми функциями найдите асимптотическое распределение статистики Колмогорова.
4. Статистический приемочный контроль по альтернативным признакам.
5. Асимптотика Колмогорова в задачах прикладной статистики.
6. Проблема «стыковки» алгоритмов в технологиях обработки статистических данных.
7. Статистическая теория множественных проверок гипотез о разладке с помощью независимых датчиков.